11月5日，在IIC Shenzhen - 2024國際集成電路展覽會暨研討會同期舉辦的2024全球CEO峰會上，Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健(Chloe Ma)女士發(fā)表了“大模型時代邊緣智能的新思考與新范式”主題演講。cC7esmc

演講現(xiàn)場上，Chloe親身展示了她與特別“助手”——Ray-Ban Meta智能眼鏡——的實(shí)時交互，用語音提問它“Hey Meta, tell me what I am looking at？”，不到一分鐘后，智能眼鏡會回答：“您正在看會場，會場里有很多聽眾。”cC7esmc

cC7esmc

“智能眼鏡可以更自然地見我所見，聞我所聞，有望重塑人機(jī)交互方式，使之更自然、智能和貼近用戶需求。”Chloe分享道，“展望未來，大模型時代可能會顛覆現(xiàn)在所有的電子產(chǎn)品與芯片形態(tài)。”cC7esmc

AI大模型飛入尋常百姓家

實(shí)現(xiàn)從零到一億用戶，Netflix用了10年，Twitter用了5年，Instagram用了2.5年，TikTok縮短至9個月，而ChatGPT只用了2個月……在多模態(tài)大模型時代，生成式AI技術(shù)的應(yīng)用和影響日益廣泛且深遠(yuǎn)，對普通用戶具有強(qiáng)大的吸引力。cC7esmc

Chloe指出，這種飛速發(fā)展的背后是強(qiáng)大的AI技術(shù)支撐，大模型表達(dá)流利，知識廣博，推理邏輯思維也突飛猛進(jìn)，OpenAI o1更是實(shí)現(xiàn)System-2思維。更關(guān)鍵的是，大模型簡單易用的界面，為每個用戶都提供了一個能快速體驗(yàn)的通用平臺，使得每一個用戶都能暢想未來無限的可能。cC7esmc

在計(jì)算技術(shù)的演進(jìn)歷程中，從最初的mainframe時代，到如今的AI計(jì)算，始終是集中式和分布式計(jì)算交替發(fā)展的歷史。cC7esmc

Chloe認(rèn)為：“現(xiàn)在，我們正處于AI計(jì)算普及的初期，AI基礎(chǔ)設(shè)施的部署以集中式的云與數(shù)據(jù)中心為主，以支持大規(guī)模的AI訓(xùn)練和數(shù)據(jù)處理任務(wù)。而AI Cloud，或者Token Factory等概念的商務(wù)模式也更趨成熟。”cC7esmc

cC7esmc

而就像之前提到的ChatGPT用戶數(shù)的迅猛增速一樣，大模型在邊緣落地的速度更加驚人。cC7esmc

AI模型和計(jì)算芯片技術(shù)的突破，以及對實(shí)時響應(yīng)、成本、用戶體驗(yàn)和安全隱私的訴求，讓AI算力快速分布到邊緣設(shè)備。這一趨勢最先呈現(xiàn)在智能手機(jī)、PC等主流計(jì)算平臺，通過AI加持的CPU、GPGPU或者NPU，實(shí)現(xiàn)對小型語言模型的支持。cC7esmc

展望未來幾年，Chloe更期待大模型在新型邊緣計(jì)算領(lǐng)域的應(yīng)用，比如說自動駕駛和具身智能（機(jī)器人），因?yàn)檫@些技術(shù)可以推動千行百業(yè)自動化轉(zhuǎn)型，顯著提升新質(zhì)生產(chǎn)力。cC7esmc

AI算力無處不在

AI算力作為一種類似水和電一樣不可或缺的基本資源，將無處不在。cC7esmc

Chloe指出，在過去幾個關(guān)鍵計(jì)算時代，技術(shù)變革的影響還主要局限于IT（Information Technology）領(lǐng)域，對OT(Operations Technology)領(lǐng)域的影響還處于探索階段。cC7esmc

“如今廣為人知的物聯(lián)網(wǎng)（IoT），實(shí)際上需要在IT和OT領(lǐng)域都實(shí)現(xiàn)與行業(yè)用例相結(jié)合的突破。” Chloe表示，“但是OT的突破遠(yuǎn)比IT的突破要難，正如業(yè)界許多專家所感慨的——搬動原子(ATOM)比搬動電子要困難的多。只有當(dāng)我們能夠?qū)崿F(xiàn)AI和我們周圍真真切切的物理世界的融合，我們才能釋放出AI技術(shù)的最大潛能。”cC7esmc

• 比如在制造領(lǐng)域，行業(yè)已經(jīng)從之前的勞動密集型轉(zhuǎn)向了設(shè)備密集型，AI大模型技術(shù)將有望助力機(jī)器人走向通用，讓人類從3D(Dirty/Dangerous/Dull)工作中解放出來，邁向真正的“黑燈工廠”時代。
• 又比如在智能家居領(lǐng)域，過去我們需要親自檢查煤氣閥，關(guān)閉窗戶或暖氣，而現(xiàn)在可以通過智能手機(jī)遠(yuǎn)程控制。未來，智能家居系統(tǒng)將利用AI大模型融匯多模態(tài)輸入，根據(jù)家人的習(xí)慣和喜好，實(shí)現(xiàn)近乎全自動的個性化服務(wù)。

Chloe總結(jié)稱，要實(shí)現(xiàn)以上的愿景，需要推動從GenAI到物理智能的演進(jìn)，即AI模型必須處理多模態(tài)數(shù)據(jù)，包括語音、文本、視頻、聲音、溫度等等；同時，還需要實(shí)現(xiàn)端到端訓(xùn)練和推理，以確保更快速的實(shí)時響應(yīng)。cC7esmc

cC7esmc

Arm作為世界上最普及的計(jì)算平臺，也正在承載從云到邊各類新興的AI應(yīng)用與負(fù)載。目前，Arm計(jì)算平臺正在成為最普及的AI 計(jì)算的基礎(chǔ)，廣泛部署在從云到端的每個數(shù)據(jù)觸及點(diǎn)，包括服務(wù)器、存儲控制器、智能網(wǎng)卡、邊緣設(shè)備等，天上飛的無人機(jī)，地上跑的汽車……Arm可以讓數(shù)據(jù)及AI處理靈活地部署在最合理的位置。cC7esmc

Chloe強(qiáng)調(diào)，高性能、低功耗、強(qiáng)安全，這是Arm計(jì)算技術(shù)從云到端普及的關(guān)鍵。cC7esmc

Arm賦能邊緣AI的三個方向

面向新時代的邊緣AI創(chuàng)新，Arm致力于在硬件、軟件和生態(tài)系統(tǒng)三個方面同步推進(jìn)。cC7esmc

（1）硬件打造基礎(chǔ)優(yōu)勢cC7esmc

隨著邊與端側(cè)AI推理需求的增長，Arm利用Arm Cortex-M和Cortex-A持續(xù)豐富邊緣算力，并在最新的Armv9架構(gòu)的A系列產(chǎn)品中引入SVE、SVE2、SME，以更有效、更便利地處理邊緣AI負(fù)載。同時，Arm持續(xù)增強(qiáng)CPU的矢量以及矩陣處理能力，并推出Arm Ethos系列AI加速器產(chǎn)品，打造高性能產(chǎn)品。此外，面對萬物互聯(lián)和安全的需求，Arm推出Arm TrustZone等技術(shù)增強(qiáng)安全，保護(hù)敏感數(shù)據(jù)和操作。cC7esmc

cC7esmc

?2024年Arm新推出的Ethos-U85以及Corstone-320旨在加速AI系統(tǒng)的快速落地，促進(jìn)未來多模態(tài)智能應(yīng)用的全方位部署。cC7esmc

全新的Arm Ethos-U85：Arm的Ethos-U NPU是世界上首個嵌入式AI加速器，從第一代的Ethos-U55，到最新的Ethos-85，不僅實(shí)現(xiàn)了性能與能效上的顯著提升，還增加了新的算子和神經(jīng)網(wǎng)絡(luò)的原生支持。cC7esmc

據(jù)悉，相較于上一代Ethos-U65，Ethos-U85的最高性能提升了4倍，能效提高了20%，適用于高性能邊緣AI應(yīng)用。Ethos-U85不僅僅提供CNN卷積神經(jīng)網(wǎng)絡(luò)所需的權(quán)重矩陣乘的運(yùn)算，還支持矩陣相乘，這是Transformer網(wǎng)絡(luò)的一個基本組成部分。?cC7esmc

Transformer模型憑借其卓越的泛化能力，已迅速成為AI 詞元工廠(token Factory)的核心支柱，推動邊緣小模型快速演進(jìn)，多模態(tài)趨勢日益明顯。Ethos-U85憑借超低功耗實(shí)現(xiàn)對Transformer的原生支持，實(shí)現(xiàn)云邊端協(xié)同，為Ray-Ban Meta等智能眼鏡應(yīng)用及多模態(tài)人機(jī)交互等極具潛力的邊緣AI應(yīng)用注入強(qiáng)大動力。cC7esmc

cC7esmc

Corstone-320：全新的Arm智能物聯(lián)參考設(shè)計(jì)平臺，包含了Cortex-M85——Arm Cortex-M系列中性能最高的嵌入式處理器，以及全新的Ethos-U85 NPU AI加速器。?cC7esmc

鑒于視覺在多模態(tài)感知中的關(guān)鍵地位，眾多邊緣MCU和傳感器系統(tǒng)越來越依賴于視覺和圖像感知，Corstone-320包括了Mali-C55圖像信號處理器(ISP)，旨在打造為視覺應(yīng)用設(shè)計(jì)的低功耗系統(tǒng)。?cC7esmc

此外，Corstone-320參考設(shè)計(jì)提供了經(jīng)過安全驗(yàn)證的軟硬件組合，助力在此參考設(shè)計(jì)基礎(chǔ)上開發(fā)的合作伙伴們能夠輕松地通過PSA二級認(rèn)證，確保產(chǎn)品符合地區(qū)及全球的安全標(biāo)準(zhǔn)。?cC7esmc

cC7esmc

（2）軟件賦予產(chǎn)品靈魂cC7esmc

Arm已成功從專注于芯片處理器IP的公司轉(zhuǎn)型為計(jì)算平臺公司，其成功的關(guān)鍵之一就是擁有強(qiáng)大的Arm軟件生態(tài)。cC7esmc

據(jù)Chloe介紹，Arm計(jì)算平臺匯聚了超過2000萬名開發(fā)者，構(gòu)成了全球最大的開發(fā)者生態(tài)系統(tǒng)。開發(fā)者們之所以青睞Arm，一方面是因?yàn)榛贏rm架構(gòu)設(shè)備的普及率極高，幾乎人手至少一臺。另一方面，在Arm平臺上開發(fā)的軟件能夠覆蓋到數(shù)十億、數(shù)百億乃至數(shù)千億的設(shè)備，幾乎觸及全球每一個人。這種龐大的軟件數(shù)量進(jìn)一步推動了硬件資源的需求和性能的提升，形成了一個良性循環(huán)。簡而言之，Arm的宗旨是實(shí)現(xiàn)軟件的“一次開發(fā)、廣泛部署”。為此，Arm在構(gòu)建一致的計(jì)算平臺方面投入了大量的軟件資源。cC7esmc

“這也是Arm KleidiAI的出發(fā)點(diǎn)：KleidiAI銜接主流AI框架和Arm計(jì)算平臺，通過底層優(yōu)化，使應(yīng)用開發(fā)者無需額外工作，就可以充分釋放Arm計(jì)算平臺所能提供的AI加速功能和性能。”Chloe提到。cC7esmc

這意味著，當(dāng)Llama或MediaPipe推出新版本時，開發(fā)者可以確信他們的App將與“模”俱進(jìn)。無論是在云端還是邊緣端，開發(fā)者都能在Arm平臺上獲得無縫的大小模型支持和顯著的AI性能提升。cC7esmc

（3）生態(tài)系統(tǒng)是Arm成功的核心關(guān)鍵cC7esmc

促進(jìn)邊緣AI的繁榮需要整個生態(tài)齊心協(xié)力。當(dāng)前，越來越多的軟硬件伙伴正匯聚于Arm計(jì)算平臺。cC7esmc

Arm攜手合作伙伴，在機(jī)器學(xué)習(xí)(ML)開發(fā)流程的每一步中提供全面的支持與價值，強(qiáng)化了開發(fā)者在從概念構(gòu)想到部署實(shí)施的全過程能力。在數(shù)據(jù)采集分析以及ML訓(xùn)練階段，Arm則依賴開源社區(qū)以及合作伙伴的方案來產(chǎn)生訓(xùn)練好的模型。cC7esmc

Arm的ML軟件和工具專注于協(xié)助模型評估、優(yōu)化、轉(zhuǎn)化與編譯，以及針對硬件的優(yōu)化，致力于在多種邊緣計(jì)算與智能物聯(lián)應(yīng)用場景中，提供卓越的性能和效率，進(jìn)一步鞏固了Arm在 AI領(lǐng)域內(nèi)的價值和地位。cC7esmc

鑒于邊緣AI用例的多樣性與復(fù)雜性，開發(fā)環(huán)境、模型及工具均呈現(xiàn)出顯著的差異性。為此，Arm構(gòu)建了一個廣泛且活躍的生態(tài)系統(tǒng)，旨在簡化邊緣AI的開發(fā)流程，降低入門門檻。cC7esmc

Chloe分享道：“Arm最近與Meta合作，通過KleidiAI實(shí)現(xiàn)與PyTorch以及PyTorch推出的新一代設(shè)備端推理runtime、ExecuTorch的整合優(yōu)化，使邊緣大模型可以順暢優(yōu)化地跑在Arm CPU上。ExecuTorch也正在擴(kuò)展到Ethos-U NPU邊緣AI加速器以及大家熟知的Arm Cortex-M CPU上。”cC7esmc

cC7esmc

小結(jié)

人工智能的普及，特別是大模型和生成式AI的迅猛發(fā)展，為邊緣AI和智能物聯(lián)網(wǎng)生態(tài)系統(tǒng)的伙伴們帶來了前所未有的發(fā)展機(jī)遇。Chloe深信，憑借Arm深厚的經(jīng)驗(yàn)和領(lǐng)先的技術(shù)廣度，Arm能夠最有力地支持其合作伙伴們擁抱邊緣AI機(jī)遇。cC7esmc

?“這些持續(xù)投入使Arm成為全球最廣泛的AI計(jì)算平臺之一，吸引了越來越多的開發(fā)者加入，而Arm也將與生態(tài)伙伴們攜手并進(jìn)，共同探索并釋放前所未有的AI規(guī)模潛力。?”Chloe展望道。cC7esmc